Năm 1904, Thái Lan bị buộc phải nhượng địa khu của tỉnh cho thuộc địa Pháp Đông Dương. Năm 1941, nó được Thái Lan lấy lại và gọi tên là tỉnh Lan Chang, nhưng rồi lại bị trả về tình trạng thuộc địa thời kỳ trước chiến tranh vào năm 1946. Khu vực này được coi là điểm nóng về tình trạng quân đội tham gia vào việc buôn bán gỗ bất hợp pháp.

Do Xayabury bị sông Mê Công cô lập với các tỉnh của Lào cùng nơi có các bản người Hmong sinh sống, cuộc đấu tranh trong Chiến Tranh Lạnh của người Hmong đã không làm ảnh hưởng đến Xayabury. Hầu hết các làng người Hmong ở Xayabury không có bất kỳ cuộc đấu tranh nào. Houaysouy là một làng Hmong ở Xayabury. Nó không có cuộc nổi dậy nào trong Chiến Tranh Lạnh, và Vang Pao không tuyển mộ bất cứ người nào từ bản này. Sau chiến tranh, Anne Fadiman, tác giả của cuốn sách The Spirit Catches You and You Fall Down, nói rằng làng này đã "rơi vào tình trạng cận chiến chính trị cùng với phần còn lại của đất nước". Vào năm 1979, khoảng 400 thành viên của Lee, Vang, Xiong và Yang đã tìm cách trốn thoát khỏi làng. Gia đình của Lia Lee, nhân vật trong cuốn The Spirit Catches You and You Fall Down, xuất thân từ bản Houaysouy.